Region-Level Policy Optimization for Fine-grained MLLM Perception
细粒度 MLLM 感知的区域级策略优化
🧭 多模态视觉感知 · 稀疏 token 选择
University of Sydney · City University of Hong Kong
用区域级强化学习训练轻量提案网络，以约 4 倍更少视觉 token 超越全分辨率 MLLM 的细粒度准确率
📌 工作参考价值（3 点）
- 借鉴区域级 RL 训练前处理筛选器：在商品图、广告图或多模态内容理解中，先用轻量网络从全局粗粒度视图定位关键区域（如商品主体、文字标签），再对候选区域做高分辨率编码，可大幅降低 MLLM 的 token 成本；冻结大模型只更新提案网络，适合基座模型昂贵、不想全量微调的业务场景。
- 用 remove/add 双目标做无监督奖励：以“移除某区域导致答案似然下降”作为负面信号抑制噪声，“补回丢失区域提升似然”作为正信号恢复缺失证据。不需要标注框或 reasoning trajectory，可直接迁移到推荐系统多模态召回/排序：用大模型对候选内容打分差异作为奖励，训练轻量重要性评估器筛掉无关图像区域或视频帧。
- 稀疏编码放大证据区域而非均匀下采样：将视觉 token 集中到选中区域并降低背景分辨率，可用同等算力提升信息密度。在电商视频理解、直播切片审核等场景，可先选高信息量帧/区域再输入生成式推荐模型，兼顾成本与细粒度表征。